iT邦幫忙

2022 iThome 鐵人賽

DAY 25
0
Security

區塊鏈與聯邦學習系列 第 25

聯邦遷移學習(Federated Transfer Learning, FTL)

  • 分享至 

  • xImage
  •  

人工智慧(AI)的發展與資料的發展有著內在的聯繫。
在大多數行業中,資料以孤島的形式存在,不同組織之間的共享範圍有限,這是人工智慧(AI)發展的障礙。

聯邦學習(FL)是一種機器學習(ML)方法,旨從分散的資料中學習模型,實現更低的延遲和更少的功耗,同時確保隱私。
通過在每個節點本地端訓練模型、共享模型更新的本地參數,並安全地聚合它們以構建更好的全域模型來實現。

遷移學習、強化學習、自我監督學習等是傳統的機器學習技術。
而聯邦學習是谷歌在 2017 年推出的。

聯邦學習已經成為解決這個問題的一種可能的解決方案。
在聯邦學習的不同變體中,值得注意的是聯邦遷移學習(FTL),它允許知識在沒有很多重疊特徵和用戶的領域之間進行遷移。

遷移學習(Transfer Learning, TL)

深度學習模型需要大量標記(Labeled)資料進行訓練,才能有效地學習和工作,這個過程很耗時,遷移學習可以幫助應對這些挑戰。

遷移學習是將一個模型中獲得的知識用於與最初預期不同的任務的過程。
從本質上講,它是在要解決的新任務上重用預訓練模型,遷移學習可以在更短的時間內使用更少的資料,節省大量計算資源並降低構建模型的成本。

選擇一個預訓練模型作為基礎模型,知識將從該模型轉移到手頭的模型。

  1. 凍結幾層預訓練模型,然後在目標模型的新數據集上訓練其他層。
  2. 通過在預訓練模型中結合層中的一些特徵來構建一個新模型。

聯邦遷移學習(FTL)

在些節點共享一些重疊樣本但資料特徵不同的場景中引入了聯邦遷移學習。
特徵、變量、屬性引用資料集的每筆資料。
樣本集引用包含與資料集相同結構的實例、對象、記錄欄位。

與水平聯邦學習(HFL)方法相反,在聯邦遷移學習(TL)設置中,不同的節點擁有相同的樣本,但具有不同的特徵。
一個實際的例子是兩個資料所有者擁有不同定義的圖像:兩個實體可能都有匹配的圖像樣本,但是圖像的特徵因一個資料客戶端而異。

聯邦遷移學習(FTL)是一種學習方案,其中知識從一方的豐富特徵空間轉移到沒有足夠特徵或標籤來訓練性能模型的一方。
換句話說,一個較大的組織將知識利用給一個無法單獨訓練的小組織,只有它的特徵。

參與者必須同意要安全交換的功能數量,以及要安全共享的組件數量。
之後,協作的活躍方不擁有標籤,需要一個傳遞函數,將他們的輸入空間映射到傳遞空間。
這意味著在這種情況下,較低分辨率的圖像應該被縮放到較高的圖像。
使用來自伺服器的預測函數對這些資料進行分類。


上一篇
混淆電路(Garbled Circuits, GC)
下一篇
聯邦強化學習(Federated Reinforcement Learning, FRL)
系列文
區塊鏈與聯邦學習30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言